AI Papers Daily

#Continuous Diffusion

3 篇

Designing Transformers for Continuous Diffusion Language Models

面向连续扩散语言模型的 Transformer 架构设计

🧭 连续扩散语言模型 · Transformer 架构优化

Polyadic Research Group · Dots Studio, Xiaohongshu · Peking University · SAGA Lab, The Chinese University of Hong Kong, Shenzhen · The University of California, Los Angeles

提出 LangDiT 架构，通过多项归一化与梯度路由改进，显著降低生成困惑度，刷新连续扩散语言模型 SOTA

📌 工作参考价值（4 点）

• 如果业务中尝试用扩散模型做文本生成（如商品描述、推荐理由、query 扩写），LangDiT 的 QK 归一化、更宽噪声条件和梯度路由技巧可直接迁移，降低生成困惑度。
• 连续扩散语言模型支持并行解码，适合低延迟文本生成场景，可探索用于实时推荐理由或广告文案生成。
• 置信度门控训练自条件可在训练时随机用模型自身预测作为条件，提升采样质量且不增加推理成本，适合作为生成式推荐模型的训练 trick。
• 架构级改进（而非单纯堆参数）对扩散生成质量提升明显，验证了在生成式模型中骨干网络设计的重要性，可借鉴到自研生成式推荐模型的 backbone 优化中。

LLM | 2026-10-15 | cs.AI | score 6/10

Diffusion Language ModelsLangDiTTransformer ArchitectureGeneration PerplexityContinuous DiffusionText Generation

On the Design Space of Continuous Diffusion Language Models

连续扩散语言模型的设计空间研究

🧭 连续扩散语言模型训练设计

Apple · University of Oxford · University of Amsterdam

揭示自条件与嵌入几何机制，提出 DoubleCat 和 SemiCat 显著提升连续扩散语言模型文本生成性能

📌 工作参考价值（4 点）

• 在推荐/搜索场景中用连续扩散语言模型生成 query、文案或 push 消息时，优先关注 self-conditioning 和 embedding geometry 两个训练杠杆；DoubleCat 无需额外前向即可修正 train/inference mismatch，适合低延迟在线生成。
• SemiCat 引入 discrete reveals 后，在标准超参下即可达到离散扩散性能，且 tuned sampler 可显著提升精度；这套方法迁移成本低，适合资源有限的业务快速落地文本生成模块。
• 嵌入几何的结论表明交叉熵驱动的 embedding 解码错误率已接近 one-hot，实际部署时不必过度设计嵌入空间，可以节省算力和存储。
• 混合 corruption 过程和异步噪声调度的探索为广告文案、商品标题等可控文本生成提供了新的调参方向，值得在业务数据上做小规模验证。

Training | 2026-10-09 | cs.LG | score 6/10

Continuous DiffusionLanguage ModelsSelf-ConditioningEmbedding GeometryText GenerationDiffusion Models

AURORA-LM: Autoencoding Unified Representation for Continuous-Latent Diffusion Language Modeling

AURORA-LM：连续潜在扩散语言模型的自动编码统一表示

🧭 连续潜在扩散语言模型 ★ 深度解读

PRLab, Nanjing University · S-Lab, Nanyang Technological University · Imperial College London

解耦表示与生成，用高容量可解码连续潜在空间实现高质量文本扩散

📌 工作参考价值（4 点）

• 解耦表示与生成：在电商推荐/搜索中可训练一个连续潜在编码器（如物品描述、查询意图），冻结后单独优化扩散生成模型，降低耦合，灵活调优。
• 高容量潜在保留信息：使用高维连续潜在向量表示商品或查询，利用低秩噪声输入瓶颈（如 \(D_b=128\)）减少扩散模型计算，同时保留全宽解码质量，适合平衡效果与效率。
• 噪声分配校准：根据潜在维度调整训练时的噪声水平分布，对高维潜在侧重高噪声样本，改善生成多样性，可用于推荐文本生成或搜索词推荐中控制多样性-质量权衡。
• 自轨迹一致性：在扩散推理时通过相邻步预测一致性正则化，显著提升少步（如 16 步）生成质量，降低线上推理延迟，利于实时生成场景。

LLM | 2026-08-02 | HF Daily | score 8/10

Continuous DiffusionFlow MatchingLatent Language ModelBlock-CausalText GenerationRepresentation Learning